Методологическая поддержка рабочей группы при решении задачи прогнозирования результатов классификационной экспертизы 

Бурков Е.А., Падерно П.И., Сатторов Ф.Э., Толкачева Е.А. Методологическая поддержка рабочей группы при решении задачи прогнозирования результатов классификационной экспертизы // Научно-технический вестник информационных технологий, механики и оптики. 2021. Т. 21, № 3. С. 426–432. doi: 10.17586/2226-1494-2021-21-3-426-432

Предмет исследования. Выполнен анализ специфики деятельности рабочей группы при подготовке классификационной экспертизы. Рассмотрены особенности подходов, используемых при выборе методов экспертных оценок и подборе экспертов. Проанализированы возможные слабо (нечетко) формализуемые требования заказчика, специфичные для классификационных экспертиз. Выявлен ряд недостатков используемых методов, которые значительно затрудняют процесс планирования и подготовки классификационной экспертизы, а также создают неприемлемые условия для прогнозирования надежности ее результатов. Метод. Разработан новый подход к прогнозированию надежности классификационной экспертизы на стадии ее подготовки в зависимости от состава экспертной группы. Подход основан на вероятностном представлении возможных результатов работы (классификации) отдельных экспертов. Основные результаты. Предложен ряд вероятностных моделей (вероятностных матриц), отражающих надежность (правильность) классификации конкретных объектов как на уровне отдельных экспертов, так и на уровне результатов всей экспертизы в целом. Для произвольной группы экспертов разработан комплекс процедур, позволяющих получать вероятностные характеристики правильной классификации объектов при включении группы в состав экспертной комиссии. Практическая значимость. Подход может быть инструментом рабочей группы, который не только упростит процесс подбора экспертной группы, но позволит прогнозировать надежность возможных результатов и поможет заранее предпринять меры для обеспечения требований заказчика. Данный подход может служить методологическим базисом для автоматизации решения задачи подбора экспертов для классификационной экспертизы на этапе ее подготовки в зависимости от требований (ограничений), сформулированных заказчиком. Использование предложенных моделей и процедур позволит повысить эффективность классификационных экспертиз, а также снизить сроки их подготовки.

1. Литвак Б.Г. Разработка управленческого решения. М.: Издательство «Дело», 2004. 392 с.

2. Бурков Е.А., Падерно П.И., Пахарьков Г.Н. Экспертиза: системные проблемы и пути их решения при выборе медицинской аппаратуры // Биотехносфера. 2010. № 2(8). С. 6–14.

3. Саати Т., Кернс К. Аналитическое планирование. Организация систем. М.: Радио и связь, 1991. 224 с.

4. Саати Т.Л. Принятие решений при зависимостях и обратных связях: аналитические сети / пер. с англ. М.: ЛИБРОКОМ, 2008. 360 с.

5. Падерно П.И. Метод комплексирования мнений экспертов внутри группы при использовании метода анализа иерархий // Известия Санкт-Петербургской лесотехнической академии. 2009. № 189. С. 238–245.

6. Падерно П.И. Комплексирование мнений групп экспертов при оценке значимости показателей // Известия Санкт-Петербургской лесотехнической академии. 2010. № 190. С. 207–211.

7. Dutova E.D., Nasarenko N.A., Paderno P.I. Analysis of the influence of transformation and integration technology of the expert evaluations on the result // Proc. 19th International Conference on Soft Computing and Measurements (SCM). 2016. P. 21–24. doi: 10.1109/SCM.2016.7519671

8. Найченко М.В. Эргономическое обеспечение создания человеко-машинных систем // Биотехносфера. 2015. № 1(37). С. 10–13.

9. Бурков Е.А., Карпачевский А.В., Падерно П.И. Оценка компетентности экспертов на основе результативности их участия в экспертизах // Известия СПбГЭТУ «ЛЭТИ». 2011. № 10. С. 38–44.

10. Бурков Е.А., Падерно П.И. Подход к формированию экспертной группы как к задаче дискретной оптимизации // Биомедицинская радиоэлектроника. 2010. № 5. С. 48–51.

11. Burkov E.A., Paderno P.I., Siryk O.E., Lavrov E.A., Pasko N.B. Analysis of impact of marginal expert assessments on integrated expert assessment // Proc. 23rd International Conference on Soft Computing and Measurements (SCM). 2020. P. 14–17. doi: 10.1109/SCM50615.2020.9198772

12. Данелян Т.Я. Формальные методы экспертных оценок // Экономика, статистика и информатика. Вестник УМО. 2015. № 1. С. 183–187.

13. Paderno P.I., Burkov E.A., Lavrov E.A. Issues of organization of expertise and problems of expert assessments // Journal of Physics: Conference Series. 2020. V. 1703. P. 012047. doi: 10.1088/1742-6596/1703/1/012047

14. Масленников Е.В. Особенности отбора экспертов // Социология. 2010. № 2. С. 82–93.

15. Падерно П.И. Система интеллектуальной поддержки экспертизы // Известия СПбГЭТУ «ЛЭТИ». 2005. № 9. С. 3–8.

16. Burkov E.A., Lyubkin P.L., Paderno P.I. Intellectual systems – the future of expert assessment // Proc. 20th IEEE International Conference on Soft Computing and Measurements (SCM). 2017. P. 34–36. doi: 10.1109/SCM.2017.7970487

17. Назаренко Н.А., Падерно П.И., Сатторов Ф.Э. Способ оценки логической сложности и стереотипности алгоритмов деятельности операторов // Научно-технический вестник информационных технологий, механики и оптики. 2019. Т. 19. № 4. C. 740–746. doi: 10.17586/2226-1494-2019-19-4-740-746

18. Makarchenko M., Borisova I., Sattorov F. Approach changing into organization processes and personnel management in context of digitalization // IOP Conference Series: Materials Science and Engineering. 2020. V. 940. P. 012097. doi: 10.1088/1757-899X/940/1/012097

19. Burkov E.A., Nazarenko N.A., Nasser S.S.S., Paderno P.I. Analysis of correctness of linear transformations of expert estimates // Proc. 22th IEEE International Conference on Soft Computing and Measurements (SCM). 2019. P. 29–32. doi: 10.1109/SCM.2019.8903758

20. Андреевский Е.В., Бурков Е.А., Назаренко Н.А., Падерно П.И. Методика оценки эффективности стратегий профессионального психологического отбора // Известия СПбГЭТУ "ЛЭТИ". 2015. № 7. С. 19–25.

21. Андреевский Е.В., Падерно П.И. Структура автоматизированной информационной системы поддержки профессионального отбора персонала для охраны ядерного объекта, ее место в структуре АСУП // Системы. Методы. Технологии. 2016. № 2(30). С. 109–113. doi: 10.18324/2077-5415-2016-2-109-113

22. Падерно П.И., Андреевский Е.В. Программа поддержки профессионального отбора. Свидетельство о государственной регистрации программы для ЭВМ № RU2017617164 от 30 июня 2017 г.

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License